레슨 5는 COMP5511의 중요한 전환점입니다. 우리는 고전적 컴퓨팅의 결정론적 논리와 초기 분류 모델의 지도학습적 확실성에서 벗어나 생성형 AI의 확률적 핵심으로 나아갑니다. 이번 세션에서는 현대 AI 모델이 "사실"이 아닌 확률 분포를 출력하는 이유를 살펴보고, LLM이 시를 쓰고 확산 모델이 노이즈로부터 그림을 그릴 수 있게 하는 메커니즘을 알아봅니다.
1. 패러다임의 전환: 논리에서 확률로
- IF-THEN을 넘어서: 경직된 규칙에서 유연한 통계적 가능성으로의 전환.
- 확실성의 종말: GenAI 결과가 설계상 비결정론적 인 이유 이해하기.
- 도구로서의 확률: "GenAI 시대"가 불확실성을 하나의 기능 으로 다루어 고쳐야 할 버그가 아닌 창의성의 원천으로 활용하는 방식.
2. 창조의 확률적 엔진
생성형 AI는 고차원 확률 공간에서의 샘플링에 의존합니다. 텍스트를 생성하든 이미지를 생성하든, 모델은 불확실성을 헤쳐나가며 새로움을 만들어냅니다:
- 대규모 언어 모델(LLM): 다음 토큰을 단일 선택이 아닌 가능성의 분포로 예측합니다.
- 확산 모델: 혼돈스러운 가우시안 노이즈로 예측합니다.
- 샘플링 과정: 반복적이고 "로봇 같은" 출력을 방지하기 위해 무작위성을 어떻게 활용하는가.
3. 예측 불가능한 세계 속의 에이전트
자율 에이전트는 "열린 세계"를 헤쳐나가야 하며, 모든 행동에는 알 수 없는 위험과 보상이 따릅니다.
환각의 트레이드오프
순수하게 결정론적인 모델은 안전하지만 독창적인 사고가 부족합니다. 불확실성을 받아들임으로써 우리는 창의성을 가능하게 하지만, 동시에 환각의 위험도 초래합니다. 즉, 모델이 그럴듯하지만 사실이 아닌 정보를 자신 있게 생성하는 현상입니다.
개념적 샘플링 로직
1
Define functionGenerate_Response(Prompt,Temperature):
2
Calculateprobability distribution for all possible next tokens;
3
Adjust distribution based on Temperature(Higher = more diverse, Lower = more focused);
4
Select next token using Weighted Random Choice;
5
Repeat until completion.
Probabilistic Modeling
Modern AI views the world through the lens of statistics rather than binary truths.